We present RecD (Recommendation Deduplication), a suite of end-to-end infrastructure optimizations across the Deep Learning Recommendation Model (DLRM) training pipeline. RecD addresses immense storage, preprocessing, and training overheads caused by feature duplication inherent in industry-scale DLRM training datasets. Feature duplication arises because DLRM datasets are generated from interactions. While each user session can generate multiple training samples, many features' values do not change across these samples. We demonstrate how RecD exploits this property, end-to-end, across a deployed training pipeline. RecD optimizes data generation pipelines to decrease dataset storage and preprocessing resource demands and to maximize duplication within a training batch. RecD introduces a new tensor format, InverseKeyedJaggedTensors (IKJTs), to deduplicate feature values in each batch. We show how DLRM model architectures can leverage IKJTs to drastically increase training throughput. RecD improves the training and preprocessing throughput and storage efficiency by up to 2.49x, 1.79x, and 3.71x, respectively, in an industry-scale DLRM training system.
translated by 谷歌翻译
我们考虑多臂绷带（MAB）中最好的臂识别（Bai）问题的变体，其中有两组臂（源头和目标），目的是确定最佳目标臂，同时仅拉动源臂。在本文中，我们研究了设置的时候，尽管是未知的手段，但源和目标MAB实例之间存在已知的附加关系。我们展示了我们的框架如何涵盖一系列以前研究的纯粹探索问题，并且还捕获了新的问题。我们提出并理论上分析了LUCB风格的算法，以识别具有高概率的$ \ epsilon $ -optimal目标手臂。我们的理论分析强调了在典型的BAI设置中不会出现的这种转移学习问题的方面，但恢复了单个域Bai的Lucb算法作为特殊情况。
translated by 谷歌翻译
图表神经网络（GNNS）对于节点分类或边缘预测等预测任务，在最近的机器中从图形结构数据中获得了越来越长的注意。然而，难以获得大量标记的图表，这显着限制了GNN的真正成功。虽然积极学习已被广泛研究用于解决文本，图像等等其他数据类型的标签稀疏问题，但如何使其有效地对图表进行有效，是一个开放的研究问题。在本文中，我们对节点分类任务的GNN进行了主动学习的调查。具体地，我们提出了一种新方法，它使用节点特征传播，然后是节点的K-METOIDS聚类，例如在活动学习中选择。通过理论束缚分析，我们证明了我们的方法的设计选择。在我们在四个基准数据集的实验中，所提出的方法始终如一地优于其他代表性基线方法。
translated by 谷歌翻译